【GitHub】Goでリポジトリの情報を取得するCloud Functionsを作って、Pythonと比較する

Code

はじまり

リサちゃん
リサちゃん

なんかメモリ食い過ぎじゃないですか・・・!?

135ml
135ml

これは別の言語で作り直してみるか・・・?

以前にツールを作ったが・・・

以前に、GitHubで管理されているリポジトリのデータを瞬時に確認するために、GitHub APIを利用して必要なデータを抽出するCloud Functionsを、Pythonで作りました。

しかし、その関数を実行した時のメモリ使用量がこんな感じ。

実行時間はこんな感じ。

あれっ、メモリと時間、食い過ぎじゃないかっっ!?

別のランタイムで実行してみよう

ということで、そのPythonで作ったツールを別のプログラミング言語で作り直して、実行時間やメモリ消費量を比較してみたいと思います。

今回使う言語は・・・、Goです。(はじめてです。)

開発に使ったライブラリなど

今回使ったライブラリやツールは

  • Go 1.22.2
  • go-github(GoからGitHub APIにアクセスしやすくなる。)
  • oauth2(GitHub APIにアクセスするクライアントを作るために使う。)
  • testing, assert(Goコードをテストする。)
  • Go Coverage Badge(GoのテストのカバレッジをREADME.mdに表示するためのGitHub Actions)
  • Cloud Shell Editor (Google Cloudで無料で使えるVSCodeライクのエディタ。Eclipse Theiaというエディタがベースらしい。週で利用可能時間が決まっている。)

今回、主に使用するGoのライブラリはgo-githubです。「go-github」は、GitHub REST APIではなく、GitHub GraphQL API v4を簡単に利用できるようにするライブラリで、GitHubのリポジトリやユーザ情報を簡単に取得できます。かの有名なGoogle様から提供されているみたいですね。

GitHub - google/go-github: Go library for accessing the GitHub v3 API
Go library for accessing the GitHub v3 API. Contribute to google/go-github development by creating an account on GitHub.

go getでインストールします。

go get github.com/google/go-github@latest

Cloud Shell Editorについて

今回、Google Cloudから提供されている「Cloud Shell」で利用できる「Cloud Shell Editor」を利用していきたいと思います。

このエディタに関しては、解説記事を以下のページで書いています。

Cloud Shell EditorのGo拡張機能が神がかっている・・・!

Cloud Shell Editorの中でGoの開発をする時は、Python 2だとか、pipのバージョンが古いとか言ったみたいな出来事は起こりませんでした。普通に開発をスタートすることが出来ます。

そして、Cloud Shell Editorでは元々Goの拡張機能がインストールされているんですけど、その拡張機能がスゴイ・・・!(Go公式のものや、Microsoftから提供されていものがあるようです。僕はGo公式のものを使っていますが。)

とりあえず、僕がスゴイと思った箇所を列挙すると、

  • Lintが発動する。
  • 自分が選択している関数もしくはファイルに対するテストコードの雛形を自動で作成できる。

Lintが発動することで、実行前にコードのチェックが出来ますね。Goは、構造体ベースで組み立てていくプログラミング言語ですので、型チェックによって実行後のデバッグを大幅に減らすことが出来ます。

そして、「テストコードの雛形を自動で作成する」機能というのが強力です・・・。

ctrl + Shift + Pでコマンドパレットを表示して、「Go: Generate Unit Tests For File」といったコマンドを実行すれば、そのファイルと同じディレクトリ内にテストコードが記述された.goファイルが作成されます。これはスゴイ。

僕が今使っているsettings.jsonのGo関連の記述はこんな感じです。(長いので隠します。)

"go.autocompleteUnimportedPackages""go.editorContextMenuCommands"の箇所を設定することで使い勝手を変えられそうです。

"go.addTags": {
		"tags": "json",
		"options": "json=omitempty",
		"promptForTags": false,
		"transform": "snakecase",
		"template": ""
	},
	// Alternate tools or alternate paths for the same tools used by the Go extension. Provide either absolute path or the name of the binary in GOPATH/bin, GOROOT/bin or PATH. Useful when you want to use wrapper script for the Go tools.
	"go.alternateTools": {},
	// Code completion without the language server is deprecated. Enable the Go language server (`go.useLanguageServer`).
	// Include unimported packages in auto-complete suggestions. Not applicable when using the language server.
	"go.autocompleteUnimportedPackages": false,
	// Flags to `go build`/`go test` used during build-on-save or running tests. (e.g. ["-ldflags='-s'"]) This is propagated to the language server if `gopls.build.buildFlags` is not specified.
	"go.buildFlags": [],
	// Enable the Go language server (`go.useLanguageServer`) to diagnose compile errors.
	// Compiles code on file save using 'go build' or 'go test -c'. Not applicable when using the language server.
	"go.buildOnSave": "package",
	// The Go build tags to use for all commands, that support a `-tags '...'` argument. When running tests, go.testTags will be used instead if it was set. This is propagated to the language server if `gopls.build.buildFlags` is not specified.
	"go.buildTags": "",
	// This option lets you choose the way to display code coverage. Choose either to highlight the complete line or to show a decorator in the gutter. You can customize the colors and borders for the former and the style for the latter.
	"go.coverageDecorator": {
		"type": "highlight",
		"coveredHighlightColor": "rgba(64,128,128,0.5)",
		"uncoveredHighlightColor": "rgba(128,64,64,0.25)",
		"coveredBorderColor": "rgba(64,128,128,0.5)",
		"uncoveredBorderColor": "rgba(128,64,64,0.25)",
		"coveredGutterStyle": "blockblue",
		"uncoveredGutterStyle": "slashyellow"
	},
	// Use these options to control whether only covered or only uncovered code or both should be highlighted after running test coverage
	"go.coverageOptions": "showBothCoveredAndUncoveredCode",
	// When generating code coverage, the value for -covermode. 'default' is the default value chosen by the 'go test' command.
	"go.coverMode": "default",
	// If true, runs 'go test -coverprofile' on save and shows test coverage.
	"go.coverOnSave": false,
	// If true, shows test coverage when Go: Test Function at cursor command is run.
	"go.coverOnSingleTest": false,
	// If true, shows test coverage when Go: Test Single File command is run.
	"go.coverOnSingleTestFile": false,
	// If true, shows test coverage when Go: Test Package command is run.
	"go.coverOnTestPackage": true,
	// When generating code coverage, should counts be shown as --374--
	"go.coverShowCounts": false,
	// Delve settings that applies to all debugging sessions. Debug configuration in the launch.json file will override these values.
	"go.delveConfig": {},
	// (Experimental) vulncheck enables vulnerability scanning.
	//
	//  - Imports: `"Imports"`: In Imports mode, `gopls` will report vulnerabilities that affect packages
	// directly and indirectly used by the analyzed main module.
	//
	//  - Off: `"Off"`: Disable vulnerability analysis.
	//
	"go.diagnostic.vulncheck": "Off",
	// If true, tests will not run concurrently. When a new test run is started, the previous will be cancelled.
	"go.disableConcurrentTests": false,
	// Documentation support without the language server is deprecated. Enable the Go language server (`go.useLanguageServer`).
	// Pick 'godoc' or 'gogetdoc' to get documentation. Not applicable when using the language server.
	"go.docsTool": "godoc",
	// Experimental Feature: Enable/Disable entries from the context menu in the editor.
	"go.editorContextMenuCommands": {
		"toggleTestFile": true,
		"addTags": true,
		"removeTags": false,
		"fillStruct": false,
		"testAtCursor": true,
		"testFile": false,
		"testPackage": false,
		"generateTestForFunction": true,
		"generateTestForFile": false,
		"generateTestForPackage": false,
		"addImport": true,
		"testCoverage": true,
		"playground": true,
		"debugTestAtCursor": true,
		"benchmarkAtCursor": false
	},
	// Feature level setting to enable/disable code lens for references and run/debug tests
	"go.enableCodeLens": {
		"runtest": true
	},
	// Flags to pass to format tool (e.g. ["-s"]). Not applicable when using the language server.
	"go.formatFlags": [],
	// When the language server is enabled and one of `default`/`gofmt`/`goimports`/`gofumpt` is chosen, the language server will handle formatting. If `custom` tool is selected, the extension will use the `customFormatter` tool in the `go.alternateTools` section.
	//  - default: If the language server is enabled, format via the language server, which already supports gofmt, goimports, goreturns, and gofumpt. Otherwise, goimports.
	//  - gofmt: Formats the file according to the standard Go style. (not applicable when the language server is enabled)
	//  - goimports: Organizes imports and formats the file with gofmt. (not applicable when the language server is enabled)
	//  - goformat: Configurable gofmt, see https://github.com/mbenkmann/goformat.
	//  - gofumpt: Stricter version of gofmt, see https://github.com/mvdan/gofumpt. . Use `gopls.format.gofumpt` instead)
	//  - custom: Formats using the custom tool specified as `customFormatter` in the `go.alternateTools` setting. The tool should take the input as STDIN and output the formatted code as STDOUT.
	"go.formatTool": "default",
	// Additional command line flags to pass to `gotests` for generating tests.
	"go.generateTestsFlags": [
		"-template",
		"testify"
	],
	// `gocode` is deprecated by the Go language server. Enable the Go language server (`go.useLanguageServer`).
	// Enable gocode's autobuild feature. Not applicable when using the language server.
	"go.gocodeAutoBuild": false,
	// `gocode` is deprecated by the Go language server. Enable the Go language server (`go.useLanguageServer`).
	// Additional flags to pass to gocode. Not applicable when using the language server.
	"go.gocodeFlags": [
		"-builtin",
		"-ignore-case",
		"-unimported-packages"
	],
	// `gocode` is deprecated by the Go language server. Enable the Go language server (`go.useLanguageServer`).
	// Used to determine the Go package lookup rules for completions by gocode. Not applicable when using the language server.
	"go.gocodePackageLookupMode": "go",
	// Code navigation without the language server is deprecated. Enable the Go language server (`go.useLanguageServer`).
	// Folder names (not paths) to ignore while using Go to Symbol in Workspace feature. Not applicable when using the language server.
	"go.gotoSymbol.ignoreFolders": [],
	// Code navigation without the language server is deprecated. Enable the Go language server (`go.useLanguageServer`).
	// If false, the standard library located at $GOROOT will be excluded while using the Go to Symbol in File feature. Not applicable when using the language server.
	"go.gotoSymbol.includeGoroot": false,
	// Code navigation without the language server is deprecated. Enable the Go language server (`go.useLanguageServer`).
	// If false, the import statements will be excluded while using the Go to Symbol in File feature. Not applicable when using the language server.
	"go.gotoSymbol.includeImports": false,
	// Infer GOPATH from the workspace root. This is ignored when using Go Modules.
	"go.inferGopath": false,
	// Enable/disable inlay hints for variable types in assign statements:
	// ```go
	// 	i/* int*/, j/* int*/ := 0, len(r)-1
	// ```
	"go.inlayHints.assignVariableTypes": false,
	// Enable/disable inlay hints for composite literal field names:
	// ```go
	// 	{/*in: */"Hello, world", /*want: */"dlrow ,olleH"}
	// ```
	"go.inlayHints.compositeLiteralFields": false,
	// Enable/disable inlay hints for composite literal types:
	// ```go
	// 	for _, c := range []struct {
	// 		in, want string
	// 	}{
	// 		/*struct{ in string; want string }*/{"Hello, world", "dlrow ,olleH"},
	// 	}
	// ```
	"go.inlayHints.compositeLiteralTypes": false,
	// Enable/disable inlay hints for constant values:
	// ```go
	// 	const (
	// 		KindNone   Kind = iota/* = 0*/
	// 		KindPrint/*  = 1*/
	// 		KindPrintf/* = 2*/
	// 		KindErrorf/* = 3*/
	// 	)
	// ```
	"go.inlayHints.constantValues": false,
	// Enable/disable inlay hints for implicit type parameters on generic functions:
	// ```go
	// 	myFoo/*[int, string]*/(1, "hello")
	// ```
	"go.inlayHints.functionTypeParameters": false,
	// Enable/disable inlay hints for parameter names:
	// ```go
	// 	parseInt(/* str: */ "123", /* radix: */ 8)
	// ```
	"go.inlayHints.parameterNames": false,
	// Enable/disable inlay hints for variable types in range statements:
	// ```go
	// 	for k/* int*/, v/* string*/ := range []string{} {
	// 		fmt.Println(k, v)
	// 	}
	// ```
	"go.inlayHints.rangeVariableTypes": false,
	// If true, then `-i` flag will be passed to `go build` everytime the code is compiled. Since Go 1.10, setting this may be unnecessary unless you are in GOPATH mode and do not use the language server.
	"go.installDependenciesWhenBuilding": false,
	// Flags like -rpc.trace and -logfile to be used while running the language server.
	"go.languageServerFlags": [],
	// Flags to pass to Lint tool (e.g. ["-min_confidence=.8"])
	"go.lintFlags": [],
	// Lints code on file save using the configured Lint tool. Options are 'file', 'package', 'workspace' or 'off'.
	//  - file: lint the current file on file saving
	//  - package: lint the current package on file saving
	//  - workspace: lint all the packages in the current workspace root folder on file saving
	//  - off: do not run lint automatically
	"go.lintOnSave": "package",
	// Specifies Lint tool name.
	"go.lintTool": "staticcheck",
	// Real-time diagnostics without the language server is deprecated. Enable the Go language server (`go.useLanguageServer`).
	// Use gotype on the file currently being edited and report any semantic or syntactic errors found after configured delay. Not applicable when using the language server.
	"go.liveErrors": {
		"enabled": false,
		"delay": 500
	},
	// The flags configured here will be passed through to command `goplay`
	"go.playground": {
		"openbrowser": true,
		"share": true,
		"run": true
	},
	// Tags and options configured here will be used by the Remove Tags command to remove tags to struct fields. If promptForTags is true, then user will be prompted for tags and options. By default, all tags and options will be removed.
	"go.removeTags": {
		"tags": "",
		"options": "",
		"promptForTags": false
	},
	// Specifies whether to show the Welcome experience on first install
	"go.showWelcome": true,
	// Prompt for surveys, including the gopls survey and the Go developer survey.
	"go.survey.prompt": true,
	// enable the default go build/test task provider.
	"go.tasks.provideDefault": true,
	// Apply the Go & PATH environment variables used by the extension to all integrated terminals.
	"go.terminal.activateEnvironment": true,
	// Absolute path to a file containing environment variables definitions. File contents should be of the form key=value.
	"go.testEnvFile": null,
	// Environment variables that will be passed to the process that runs the Go tests
	"go.testEnvVars": {},
	// Run benchmarks when running all tests in a file or folder.
	"go.testExplorer.alwaysRunBenchmarks": false,
	// Concatenate all test log messages for a given location into a single message.
	"go.testExplorer.concatenateMessages": true,
	// Enable the Go test explorer
	"go.testExplorer.enable": true,
	// Present packages in the test explorer flat or nested.
	"go.testExplorer.packageDisplayMode": "flat",
	// Set the source location of dynamically discovered subtests to the location of the containing function. As a result, dynamically discovered subtests will be added to the gutter test widget of the containing function.
	"go.testExplorer.showDynamicSubtestsInEditor": false,
	// Open the test output terminal when a test run is started.
	"go.testExplorer.showOutput": true,
	// Flags to pass to `go test`. If null, then buildFlags will be used. This is not propagated to the language server.
	"go.testFlags": null,
	// Run 'go test' on save for current package. It is not advised to set this to `true` when you have Auto Save enabled.
	"go.testOnSave": false,
	// The Go build tags to use for when running tests. If null, then buildTags will be used.
	"go.testTags": null,
	// Specifies the timeout for go test in ParseDuration format.
	"go.testTimeout": "30s",
	// Environment variables that will be passed to the tools that run the Go tools (e.g. CGO_CFLAGS) and debuggee process launched by Delve. Format as string key:value pairs. When debugging, merged with `envFile` and `env` values with precedence `env` > `envFile` > `go.toolsEnvVars`.
	"go.toolsEnvVars": {},
	// Automatically update the tools used by the extension, without prompting the user.
	"go.toolsManagement.autoUpdate": false,
	// Specify whether to prompt about new versions of Go and the Go tools (currently, only `gopls`) the extension depends on
	//  - proxy: keeps notified of new releases by checking the Go module proxy (GOPROXY)
	//  - local: checks only the minimum tools versions required by the extension
	//  - off: completely disables version check (not recommended)
	"go.toolsManagement.checkForUpdates": "proxy",
	// Trace the communication between VS Code and the Go language server.
	"go.trace.server": "off",
	// Code completion without the language server is deprecated. Enable the Go language server (`go.useLanguageServer`) and use [`gopls's `ui.completion.usePlaceholders` setting](https://github.com/golang/vscode-go/wiki/settings#uicompletionuseplaceholders) instead.
	// Complete functions with their parameter signature, including the variable type. Not propagated to the language server.
	"go.useCodeSnippetsOnFunctionSuggest": false,
	// Code completion without the language server is deprecated. Enable the Go language server (`go.useLanguageServer`) and use [`gopls's `ui.completion.usePlaceholders` setting](https://github.com/golang/vscode-go/wiki/settings#uicompletionuseplaceholders) instead.
	// Complete functions with their parameter signature, excluding the variable types. Use `gopls.usePlaceholders` when using the language server.
	"go.useCodeSnippetsOnFunctionSuggestWithoutType": false,
	// Use `go.toolsManagement.checkForUpdates` instead.
	// When enabled, the extension automatically checks the Go proxy if there are updates available for Go and the Go tools (at present, only gopls) it depends on and prompts the user accordingly
	"go.useGoProxyToCheckForToolUpdates": true,
	// Enable intellisense, code navigation, refactoring, formatting & diagnostics for Go. The features are powered by the Go language server "gopls".
	"go.useLanguageServer": true,
	// Flags to pass to `go tool vet` (e.g. ["-all", "-shadow"])
	"go.vetFlags": [],
	// Vets code on file save using 'go tool vet'. Not applicable when using the language server's diagnostics. See 'go.languageServerExperimentalFeatures.diagnostics' setting.
	//  - package: vet the current package on file saving
	//  - workspace: vet all the packages in the current workspace root folder on file saving
	//  - off: do not run vet automatically
	"go.vetOnSave": "package",

GoでGitHubから情報を取得する

基本構造

go-githubからGitHub APIにアクセスします。

情報を取得するGo言語の基本的な構造は以下の通りです。まず、GitHubからアクセストークンを発行して、APIにアクセスします。

import "github.com/google/go-github/github"


type GithubSvc struct {
}
type GithubSvcIf interface {
	CheckRepoType(repoType string) error
	CheckPullStateType(fetchType string) error
	GetRepositoryListOptions(fetchType string, sort string, direction string, perPage byte, page byte) *github.RepositoryListOptions
	GetAllRepositoryList(ctx context.Context, client GithubClientIf, rOpt *RepoFetchOptionFormat) ([]*github.Repository, error)
	FetchRepositories(ctx context.Context, client GithubClientIf, repoType string, username string) ([]*github.Repository, error)
	GetRepoPulls(ctx context.Context, client GithubClientIf, repo *github.Repository, state string) ([]*github.PullRequest, error)
	GetRepoInfoInFormat(ctx context.Context, client GithubClientIf, repo *github.Repository) (*RepoFormat, error)
	GetRepoInfo(ctx context.Context, client GithubClientIf, isThreading bool, username string) ([]RepoFormat, error)
	CreateGithubClient(ctx context.Context, token string) GithubClientIf
}

func NewGithubSvcIf() GithubSvcIf {
	return &GithubSvc{}
}

type GithubClientAdapter struct {
	*github.Client
}

func (g *GithubSvc) CreateGithubClient(ctx context.Context, token string) GithubClientIf {
	tokenSource := oauth2.StaticTokenSource(
		&oauth2.Token{AccessToken: token},
	)
	oc := oauth2.NewClient(ctx, tokenSource)
	client := github.NewClient(oc)
	return &GithubClientAdapter{Client: client}
}

アクセストークンのスコープは、「repo」を全チェックにしました。

リポジトリの色々な情報を取得する

前回と同様に、リポジトリの中にある沢山の情報を取得します。

リポジトリ名とその説明、URL、サイズ、Issueの数、フォークされた数などなど・・・。

今回取得した情報は以下のような感じです。リポジトリのサイズとか、記述した言語とかは統計してみたかったのですかさず取得します。日付はISO-8601準拠にします。

type TimeFmt struct {
}
type TimeFmtIf interface {
	Time2str(t time.Time) string
	GhTime2str(t github.Timestamp) string
}

func NewTimeFmt() TimeFmtIf {
	return &TimeFmt{}
}

func (f *TimeFmt) Time2str(t time.Time) string {
	// return t.Format(time.RFC3339)
	return t.Format("2006-01-02T15:04:05Z")
}

func (f *TimeFmt) GhTime2str(t github.Timestamp) string {
	return f.Time2str(t.Time)
}

func (g *GithubSvc) GetRepoInfoInFormat(ctx context.Context, client GithubClientIf, repo *github.Repository) (*RepoFormat, error) {
	var err error
	var _ *github.Response
	var pulls []*github.PullRequest
	pulls, err = g.GetRepoPulls(ctx, client, repo, "all")
	if err != nil {
		return nil, err
	}
	var languages map[string]int
	languages, _, err = client.ListRepoLanguages(ctx, repo.GetOwner().GetLogin(), repo.GetName())
	if err != nil {
		return nil, err
	}
	f := NewTimeFmt()
	createdAt := f.GhTime2str(repo.GetCreatedAt())
	updatedAt := f.GhTime2str(repo.GetUpdatedAt())
	rf := &RepoFormat{
		Name:             repo.GetName(),
		Description:      repo.GetDescription(),
		IsPrivate:        repo.GetPrivate(),
		HtmlUrl:          repo.GetHTMLURL(),
		IssuesCount:      int32(repo.GetOpenIssuesCount()),
		ForksCount:       int32(repo.GetForksCount()),
		StargazersCount:  int32(repo.GetStargazersCount()),
		SubscribersCount: int32(repo.GetSubscribersCount()),
		Size:             int32(repo.GetSize()),
		IsArchived:       repo.GetArchived(),
		CreatedAt:        createdAt,
		UpdatedAt:        updatedAt,
		Language:         repo.GetLanguage(),
		Languages:        languages,
		PullsCount:       int32(len(pulls)),
	}
	return rf, nil
}

処理をGoroutine化する

今回取得する情報の中には、リポジトリのプルリクのカウント、また取得するプログラミング言語は複数となっています。

そのように情報を取得する場合には、GitHub APIへのリクエストは一回だけでは足りません。上記の2種類の情報を取得するために更に2回リクエストを行う必要があります。(そして、更に2回リクエストを行うリポジトリの数が100個近くあるため、200回のGETリクエストを行います・・・)

それだけリクエストの数が多いと流石に処理時間が長すぎるので、Pythonの時はマルチスレッド化しました。

しかし、Goの場合は「Goroutine」というものがあります。スレッドを追加するより、更に軽く、更に速く処理を並行化できる代物みたいです。

func (g *GithubSvc) GetRepoInfo(ctx context.Context, client GithubClientIf, isThreading bool, username string) ([]RepoFormat, error) {
	repos, err := g.FetchRepositories(ctx, client, "owner", username)
	if err != nil {
		OutLog(err)
		return nil, err
	}

	var results []RepoFormat
	if isThreading {
		var wg sync.WaitGroup
		mu := &sync.Mutex{}
		for _, repo := range repos {
			wg.Add(1)
			go func(repo *github.Repository) {
				defer wg.Done()
				var rf *RepoFormat
				rf, err = g.GetRepoInfoInFormat(ctx, client, repo)
				mu.Lock()
				results = append(results, *rf)
				mu.Unlock()
			}(repo)
			if err != nil {
				OutLog(err)
				return nil, err
			}
		}
		wg.Wait()
	} else {
		for _, repo := range repos {
			var rf *RepoFormat
			rf, err = g.GetRepoInfoInFormat(ctx, client, repo)
			if err != nil {
				OutLog(err)
				return nil, err
			}
			results = append(results, *rf)
		}
	}
	return results, nil
}

Goの処理の内容は、ざっとこんな感じです。

  • var wg sync.WaitGroupで、これから実行するGoroutineが入るグループを作成します。(下記のPythonの処理のthreadsに該当しそうです。)
  • mu := &sync.Mutex{}で、「mutex」という、リソースに一度に一つのスレッドしかアクセスできないようにするロック機構を作ります。
  • wg.Add(1)で、Goroutineをグループに追加します。(下記のPythonの処理の<code>thread.start()に該当しそうです。)
  • mu.Lock()で、リソース(今回のスライス)をロックします。
  • results = append(results, *rf)で、情報をスライスに格納します。
  • mu.Unlock()で、リソース(今回のスライス)をアンロックします。
  • wg.Wait()で、グループに追加したGoroutineが全て終了するまでGetRepoInfo関数が終了しないようにします。(下記のPythonの処理のthread.join()に該当しそうです。)

前回書いたPythonのマルチスレッド処理のコードと比較してみます。

仕組みは大体同じで、コードの長さはあまり変わりませんね。しかし、実行した時のメモリ使用量と実行時間がどれぐらい変化があるのでしょうか・・・。

import threading
from pprint import pprint
from typing import TypedDict, Final
import datetime
import json
import requests
import os
from github import Github
from config import get_config, get_github_token, get_github_username, get_env_variable

from memory_profiler import profile

def fetch_repositories(github, fetch_type: str, username: str | None):
    if fetch_type not in ["all", "owner", "public", "private", "forks"]:
        raise ValueError(f"'fetch_type' is not support '{fetch_type}'")
    if username == None:
        user = github.get_user()
    else:
        user = github.get_user(username)
    repos = user.get_repos(type=fetch_type)
    return repos

def store_repo_info(repo, results: list) -> None:
    obj: Repo_format = get_repo_info_in_format(repo)
    # gh_info.append(obj)
    results.append(obj)

# @profile
def get_repo_info(github, is_threading: bool = False, username: str | None = None) -> list[Repo_format]:
    repos = fetch_repositories(github, "owner", username)
    results = []
    if is_threading:
        threads = []
        for repo in repos:
            thread = threading.Thread(
                target=store_repo_info, args=(repo, results))
            threads.append(thread)
            thread.start()
        for thread in threads:
            thread.join()
    else:
        for repo in repos:
            info: Repo_format = get_repo_info_in_format(repo)
            results.append(info)

    return results

テストして、カバレッジをREADME.mdに表示する

有名なリポジトリではよく、テストのカバレッジをREADMEの冒頭で表示してたりしますよね。アレを、Goでもやってみたいと思います。

今回使うのは、「Go Coverage Badge」いうGitHub Actionsです。

Go Coverage Badge - GitHub Marketplace
Generate coverage badge for go projects

今回使用したGitHub Actionsのワークフローはこちら。

name: go-test-integration

on:
  push:

permissions: write-all

env:
  GO_VERSION: '1.22'
  COV_FILE: 'coverage.out'

jobs:
  test:
    runs-on: ubuntu-latest
    steps:
      - name: Checkout
        uses: actions/checkout@v4
      - name: Set up Golang
        uses: actions/setup-go@v5
        with:
          go-version-file: 'go.mod'
      - name: Check Go version
        run: go version
      - name: Run Test
        run: |
          go test -v ./... -coverpkg=./mypkg -covermode=count -coverprofile=${{ env.COV_FILE }}
          go tool cover -func=${{ env.COV_FILE }} -o=${{ env.COV_FILE }}
      - name: Go Coverage Badge  # Pass the `coverage.out` output to this action
        uses: tj-actions/coverage-badge-go@v2
        with:
          filename: ${{ env.COV_FILE }}
      - name: Push changes
        run: |
          git config --local user.email "action@github.com"
          git config --local user.name "GitHub Action"
          git add README.md
          git log -1
          git diff --cached --quiet || (git commit -m "chore: Updated coverage badge." && git push origin HEAD)

前回Python開発では、依存したGitHub Actionsが6個ありましたが、今回は3個に減らすことが出来ました。

「Pytest Coverage Comment」のように、テスト結果を細かく表示したりはしていませんが、バッジを表示するためであれば、このぐらいの依存で賄えるみたいですね。

バッジがちゃんと追加できているとこんな感じ。

テストは後で書きます・・・。

Cloud Functionsにデプロイする

GoでGitHub情報を取得して、テストもある程度行えたならば、Cloud Functionsとして本処理をデプロイしていきたいと思います。(今回取得する情報は、GAS(Google Apps Script)から取ってGoogleスプレッドシートに入れたかったのです。)

今回は、Google Cloudのコンソールからではなく、gcloud CLIからデプロイしていきたいと思います。(Goは、パッケージの中に色々とファイルが入っているので、コンソールからデプロイするとなると、だいぶ手間が掛かりますね。)

以下のように、下記の関数をデプロイします。

function.go

package mypkg

import (
	"bytes"
	"context"
	"encoding/json"
	"fmt"
	"io"
	"net/http"
	"os"
	"time"

	"github.com/GoogleCloudPlatform/functions-framework-go/functions"
)

func init() {
	functions.HTTP("RetrieveGhRepoByReq", RetrieveGhRepoByReq)
}

// helloHTTP is an HTTP Cloud Function with a request parameter.
func RetrieveGhRepoByReq(w http.ResponseWriter, r *http.Request) {
	type ReqBody struct {
		Token string `json:"token"`
	}
	var rb ReqBody
    fmt.Println(r.Body)
	if err := json.NewDecoder(r.Body).Decode(&rb); err != nil {
		http.Error(w, err.Error(), http.StatusBadRequest)
		return
	}
    fmt.Println(rb)
    fmt.Println(rb.Token)
	results, err := RetrieveGhRepo(rb.Token)
	if err != nil {
		http.Error(w, err.Error(), http.StatusInternalServerError)
		return
	}
	fmt.Println(results)

	resObj := struct {
		Data interface{} `json:"data"`
	}{
		Data: results,
	}

	json.NewEncoder(w).Encode(resObj)
}

ディレクトリ構成はこんな感じで、

ディレクトリ構成

|--mocks
| |--function.go
| |--github.go
| |--lmak.go
|--mypkg
| |--function.go
| |--github.go
| |--go.mod
| |--go.sum
| |--lmak.go
|--README.md
|--tests
| |--function_test.go
| |--github_test.go
| |--lmak_test.go

デプロイするパッケージの中にはgo.modが必要なので、mypkgの中に作ります。

Bash

cd mypkg
go mod init example.com/mypkg
go mod tidy

go.modが出来たら、gcloudを打ち込んでデプロイします。function.goで設定したエントリーポイントを指定して関数を作成します。

Bash

gcloud functions deploy {MY_PACKAGE} \
  --gen2 \
  --runtime=go122 \
  --region={MY_REGION} \
  --source=. \
  --entry-point=RetrieveGhRepoByReq \
  --trigger-http \
  --allow-unauthenticated \
  --timeout=180s \

デプロイ後の格闘

デプロイ後に直面するのが、APIの様々な閾値に起因するバグです。

と思ったので、ある程度閾値を上げました。

全く同じ処理をさせたPythonの関数よりも「割り当てられたメモリ」を減らせました。

GoとPythonの実行時の比較

そして実行してみると、かなりの違いが表れました。

まずは、Pythonです。この記事の冒頭で載せたメモリ使用量は、491.37MiBでした。

そして、Goです。メモリ使用量を見ると・・・

Python:491.37MiBから、26.51MiBに減らせました!

なんと、20分の1です・・・。

次に、実行時間を見ていきます。記事の冒頭で載せたPythonの値は、3分でした。

そして、Goです。実行時間を見ると・・・

Python:3分から、10秒に減らせました!

なんと・・・18分の1です・・・。

これはスゴイ・・・。

まとめ

今回は、以前にPythonで作ったGitHubの情報を取得する処理を、Goで作り直してその実行状況を比較する試みを行いました。

同じ処理を実行させた比結果がこちらです。

言語メモリ使用量実行時間
Python491.37MiB183s
Go26.51MiB10.45s

そして、本記事のまとめです。以下の点を網羅しています

  • Pythonで作成したツールのパフォーマンス問題とGoへの移行。
  • Goのライブラリ「go-github」によるGitHub APIへのアクセス方法。
  • 「Cloud Shell Editor」のGo関連の機能。
  • Cloud Functionsへのデプロイと実行時間及びメモリ消費量の比較。

おしまい

リサちゃん
リサちゃん

えっ、こんなに変わるの!!

135ml
135ml

なんかおらGoが好きになってきたぞ。

以上になります!

コメント

タイトルとURLをコピーしました